Gaucher tốt nghiệp từ trường quân sự Saint-Cyr vào năm 1929 và được phong hàm Thiếu úy. Gaucher được cử tới đóng tại Algeria phục vụ trong Trung đoàn Bộ Binh Algeri từ 1929 đến 1931. Haucher chuyển sang Lực lượng Lê Dương năm 1931 và phục vụ ở Bắc Phi với Trung đoàn 1 Lê Dương (1e REI) và Trung đoàn 3 Lê Dương (3e REI). Năm 1938 Gaucher được thăng Đại úy và chuyển về Trung đoàn 5 Lê Dương (5° REI) đóng ở Bắc Kỳ. Khi xung đột giữa quân Pháp và quân Nhật Bản chiếm đóng nổ ra Tháng ba Năm 1945, Gaucher chỉ huy tiểu đoàn của mình rút khỏi Hà Nội về Điện Biên phủ, ở đó Gaucher nhận được điện đài khích lệ từ tướng Charles De Gaulle. Bị quân Nhật truy đuổi, Gaucher dẫn quân sang Trung Quốc.[1] Gaucher được thăng Chef de bataillon (Thiếu tá) cùng năm đó, và quay trở về căn cứ quân Lê Dương tại Sidi Bel Abbes để gia nhập Bán lữ đoàn 13 Lê Dương (13e DBLE).

Jules Gaucher được mô tả là một người "vạm vỡ, nát rượu nhưng dày dẵn kinh nghiệm trong chiến đấu trong rừng rậm, với cái mũi như bị rìu chặt còn miệng thì như bị cắt vào", Gaucher được lòng binh sĩ, được đặt cho biệt danh "Ông già".